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摘要 : [ 目的/ 意义] 提出 一 种 基于 开放 同行 评议 的 学 者 影响 力 评价 方法 , 即 通 过 归纳 收敛 开放 同行 评议 内 
容 ,形成 能 够 表征 学 者 不 同 层面 影响 力 的 多 个 标签 徐 , 从 而 从 质量 层面 多 角度 探索 学 者 影响 力 , 并 验证 所 提 方 
法 的 有 效 性 。 [ 方法/ 过程] 调研 分 析 国 内 外 现 有 学 者 影响 力 评价 方法 ,在 此 基础 上 ,设计 构建 基于 开放 同行 评 


议 的 学 者 影响 力 评 价 方法 ,并 以 开放 同行 评议 平台 上 1000 为 例 ,进行 实证 研究 和 对 比分 析 。[ 


结果 /结论 ] 基 于 


开放 同行 评议 的 学 者 评价 方法 是 一 种 新 的 评价 角度 ,实现 了 对 学 者 的 多 角度 评价 ,增加 了 学 者 影响 力 的 饱满 度 
和 办 识 度 。 分 析 表 明 ,该 方法 与 文献 计量 评价 方法 不 具有 显著 相关 性 ,可 以 作为 对 传统 评价 方法 的 一 种 补充 。 
偿 统 的 定量 分 析 与 开放 同行 评议 方法 的 结合 将 是 未 来 学 术 评价 的 发 展 趋 势 。 


C@ 关键 词 : 学 者 影响 力 
《@ 分 类 号 ; C250 
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评价 ”开放 同行 评议 F1000 


学 者 影响 力 评价 对 科研 管理 和 评估 起 着 非常 重要 
的 作用 ,一 直 以 来 都 是 学 术 评 价 领 域 关 注 的 重点 。 有 
效 的 学 者 影响 力 评价 有 利于 促进 科学 研究 的 公平 苋 
人 SS 提升 学 者 从 事 科 学 研究 的 积极 性 。 学 者 影响 力 的 
广度 和 深度 主要 取决 于 其 研究 的 成 果 以 及 这 些 成 果 被 
他 太 重 视 、 认 同和 应 用 的 情况 ,因此 ,对 学 者 的 评价 , 归 
根 铺底 是 对 学 者 学 术 成 果 的 评价 。 现 有 的 学 术 评 价 主 
要 依赖 文献 计量 学 的 方法 ,其 中 基于 引文 分 析 的 方法 
使 用 最 为 广泛 ,这 种 评价 方法 在 得 到 广泛 认可 的 同时 ， 
也 不 断 遭 到 诉 病 。 一 直 以 来 ,科研 人 员 都 希望 在 现 有 
计量 评价 方法 的 基础 上 , 辅 以 定性 评价 的 方法 。 尤 其 
是 在 科学 出 版 ,传播 与 交流 方式 日 益 开放 化 的 今天 , 社 
交 媒 体 的 鞍 勃 发 展 为 开放 式 的 评价 提供 了 更 加 合适 的 
平台 和 媒介 ,开放 同行 评议 (open peer review ,OPR ) 应 
运 而 生 ,海量 的 定性 评价 成 为 可 能 。 

2017 年 5 月 ,欧盟 OpenAIRE 项 目 发 布 了 名 为 
“OpenAIRE 调查 编辑 ,作者 .评议 者 对 开放 同行 评议 的 


态度 与 体验 ”( OpenAIRE survey on open peer review : 
attitudes and experience amongst editors ，authors and re- 
viewers ) 的 调查 报告 ,调查 结果 显示 ,有 四 分 之 三 的 
受 访 者 表示 他 们 以 不 同 的 方式 或 多 或 少 地 参与 过 开放 
同行 评议 。 开 放 同 行 评 议 正 以 多 种 形式 渗透 于 科研 评 
价 中 。 鉴 于 此 ,本 文 构建 了 基于 开放 同行 评议 的 学 者 
影响 力 评价 方法 和 流程 ,通过 归纳 收敛 开放 同行 评议 
内 容 , 形 成 了 3 种 不 同 的 标签 篮 ,代表 学 者 在 不 同方 面 
影响 力 , 从 而 从 质量 层面 多 角度 展开 对 学 者 影响 力 的 
评价 ,增强 学 者 之 间 的 辨识 度 , 并 以 下 000 作为 案例 展 
开 实 证 分 析 研 究 ,验证 所 提 方 法 的 有 效 性 。 


2 国内 外 研究 进展 


2.1 现 有 学 者 影响 力 评价 方法 

以 18 世纪 中 叶 爱 丁 堡 皇家 学 会 和 伦敦 皇家 学 会 
邀请 其 成 员 挑选 用 于 出 版 的 文章 为 起 点 ,论文 同行 评 
议 制度 至 今 已 有 近 300 年 的 历史 。 期 间 ,学术 评价 
经 历 了 从 同行 评议 为 主 ,到 同行 评议 与 文献 计量 并 存 ， 
再 到 文献 计量 为 主 的 发 展 历程 。 在 学 者 影响 力 评价 领 
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域 ,1926 年 , 洛 特 卡 在 《科学 生产 率 的 频率 分 布 》 中 提 
出 了 描述 著者 与 论文 数量 关系 的 经 验 规律 ,后 被 称 为 
“ 洛 特 卡 定律 "5 ,为 将 学 者 产 出 与 学 者 影响 力 评价 联 
系 在 一 起 奠定 了 基础 。1969 年 ,“ 文 献计 量 学 ”一 词 被 
正式 提出 ,国内 外 基于 文献 计量 学 对 学 者 影响 力 进行 
评价 的 方法 层出不穷 ,从 加 菲尔德 提出 的 被 引 频 次 评 
价 到 J Hirsch 提出 的 h 指数 外 ,再 到 多 种 b 指数 的 变 
体 、PageRank 变 体 等 ,科研 人 员 在 学 者 影响 力 评价 领域 
进行 了 坚持 不 懈 的 探索 ,如 LEgghe 提出 的 g 指数 器 ， 
C.T. Zhang 四 提出 的 e 指 数 ,国内 学 者 提出 的 Author 
Rank ”LeaderRank” 等。 具体 包括 均值 型 指标 、h 型 
间 标 和 关联 型 指标 ”3 类 。 
均值 型 指标 以 发 文 .引文 的 均值 作为 核心 思想 , 主 
要 包括 篇 均 被 引 频 次 .影响 因子 ,试图 以 均值 的 方法 消 
除 交 章 数量 或 年 份 带 来 的 影响 ,但 并 没有 达到 理想 的 
如 篇 均 被 引 频次 建立 在 被 引 的 基础 上 ,就 忽略 了 
(用 动机 对 评价 结果 的 影响 。 
h 型 指标 是 以 h 指数 为 基础 演化 出 的 一 系列 指 
标 x 学 术 界 对 指数 的 研究 可 谓 经 久 不 衰 ,西班牙 还 有 
区 本 针对) 指数 相关 研究 的 网 站 “H-index and Vari- 
afis] ,提供 了 包括 指数 的 原理 ,应 用 和 指数 变 
休 竺 多 方面 的 内 容 。 据 不 完全 统计 ,h 型 指标 目前 有 


NH 


价 提供 了 合适 的 平台 和 媒介 ,开放 同行 评议 用 于 学 术 
评价 逐渐 成 为 可 能 。 

开放 同行 评议 ,是 同行 评议 在 开放 科学 时 代 的 一 
种 体现 形式 “开放 同行 评议 ”一 词 最 早出 现在 20 世纪 
末 ,起 初 ,这 一 方式 作为 对 传统 同行 评议 的 一 种 补充 被 
提出 ,之 后 ,渗透 到 出 版 中 和 出 版 后 的 过 程 中 。 开 放 同 
行 评议 的 这 种 发 展 历程 ,也 使 得 学 术 界 对 它 的 定义 众 
说 纷 颖 ,如 NMcCormack "站 认为 开放 同行 评议 是 作 
者 和 审 稿 人 身份 互 知 ;A，Mulligan'" 则 认为 既 要 作者 
和 审 稿 人 身份 互 知 ,同时 他 们 的 身份 也 向 大 众 披露 。 
D. Shotton" 和 Pp. Perakakis55 认为 开放 同行 评议 是 
一 个 大 众 参 与 决定 稿件 去 留 的 过 程 , 即 稿件 收 稿 后 立 
即 接受 公开 的 评论 ,这 些 评论 与 正式 同行 评议 结果 一 
并 决定 稿件 去 留 。 国 内 学 者 刘 春 丽 5 将 之 定义 为 在 
网 络 社 区 中 ,由 同行 评议 专家 根据 自己 专长 的 研究 领 
域 ,快速 鉴别 学 术 研 究 出 版 物 中 重要 文献 的 过 程 。 姜 
春 林 '"" 认为 开放 同行 评议 是 同行 专家 利用 社交 工具 
对 开放 存 取 平 台 上 的 论文 在 线 评审 ,同时 论文 作者 与 
同行 专家 进行 互动 交流 的 过 程 。 

E.，Ford55 对 其 进行 了 梳理 ,给 出 了 开放 评议 的 8 
个 特征 ,其 中 5 个 特征 是 描述 评议 过 程 的 ,包括 评审 意 
见 是 否 署 名 .评审 过 程 中 作者 与 评审 人 的 身份 是 否 相 


3 从 图 个 成 员 , 分 别针 对 指数 的 不 同 缺陷 进行 了 不 同 
程 二 的 改进 。 

>< 关 联 型 指标 是 指 依据 学 者 之 间 存在 的 关联 关系 对 
学 省 进行 评价 的 指标 ,具体 指 作者 之 间 的 相互 引用 和 


的 攀 进 ,利用 网 页 链接 与 作者 引用 .合作 关系 之 间 的 相 
似 性 ,产生 出 了 多 种 关联 型 指标 ,如 孙 海 生 等 提出 的 
AuthorRank 、 王 小梅 等 提出 的 LeaderRank 、 马 瑞 敏 等 提 
出 的 使 用 特征 因子 评价 学 者 的 方法 ”等 。 

以 文献 计量 学 为 背景 的 学 者 影响 力 评 价 方法 是 目 
前 使 用 最 广泛 .最 成 功 的 评价 方法 ,但 关于 该 类 方法 次 
端的 讨论 也 从 未 停止 过 。 一 方面 体现 在 其 比较 注重 定 
量 的 评价 ,而 忽略 了 从 定性 层面 审视 文章 的 影响 力 ; 另 
一 方面 现 有 方法 的 评价 角度 略 显 单一 ,每 个 作者 在 一 
种 评价 方法 下 只 能 得 到 唯一 的 得 分 ,而 没有 体现 出 作 
者 的 个 人 特征 ,这 种 一 刀 切 的 做 法 ,需要 得 到 进一步 的 
改进 和 补充 。 

2.2 开放 同行 评议 的 产生 与 发 展 

随 着 信息 技术 和 社交 媒体 平台 的 不 断 发 展 ,学 术 
成 果 出 版 ,传播 .交流 的 方式 也 与 时 俱 进 ,学 术 成 果 的 
获取 和 评价 开始 转向 网 络 和 社交 媒体 ,这 为 开放 的 评 
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互 公开 并 可 相互 讨论 ,编辑 是 否 控制 评审 过 程 评 议 结 
果 是 否 向 大 众 公开 、 是 否 允许 读者 评议 。 另 外 3 个 是 
描述 评议 时 间 的 ,包括 出 版 前 评议 .出 版 中 评议 .出 版 
后 评议 。 
本 文 的 研究 是 基于 出 版 后 的 开放 同行 评议 展开 
的 ,在 本 文 当中 ,出 版 后 开放 评议 专 指 经 过 传统 同行 评 
议 认 可 后 出 版 的 文章 ,再 次 接受 其 他 同行 或 读者 评议 
的 过 程 。 
开放 同行 评议 的 产生 ,激发 了 学 术 评 价 领域 研究 
的 热情 。 目 前 ,国内 外 已 经 有 一 部 分 学 者 尝试 了 使 用 
开放 同行 评议 对 文章 ,学 者 等 展开 评价 ,并 与 以 引文 为 
主 的 文献 计量 评价 方法 进行 了 相关 性 比较 研究 。 如 宋 
丽 萍 等 基于 F1000 和 WoS 比较 了 同行 评议 与 文献 计 
量 方法 在 科学 评价 中 的 有 效 性 及 相关 性 "” ,得 出 了 文 
献计 量 指 标 与 同行 评议 结果 具有 正 向 相关 性 的 结论 。 
沈 小 玲 等 ”通过 探索 与 同行 评议 相关 联 的 网 络 计量 
指标 ,以 此 替代 同行 评议 建立 了 综合 评价 模型 。 

而 笔者 通过 对 利用 开放 同行 评议 进行 学 术 评 价 的 
现 有 文章 进行 调研 发 现 ,这 些 研究 大 多 使 用 开放 同行 
评议 的 定量 指标 ,如 F1000 因子 .Altmetrics 指标 等 ,但 
同时 ,开放 同行 评议 还 会 产生 定性 的 评议 内 容 , 这 些 评 
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等 . 基于 开放 同行 评议 的 学 者 影响 力 评价 研究 
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议 内 容 对 学 术 评 价 来 说 也 非常 重要 。 因 此 ,不 同 于 以 
往 的 研究 ,本 文 将 视角 放 在 了 开放 同行 评议 产生 的 定 
性 内 容 上 ,将 以 F1000 标签 作为 学 者 影响 力 评价 的 依 
据 , 构 建 基于 开放 同行 评议 的 学 者 影响 力 评价 方法 。 


3 ”基于 开放 同行 评议 的 学 者 影响 力 评价 


方法 构建 


基于 开放 同和 
思想 是 :通过 归纳 收敛 开放 同行 评议 内 容 , 形 成 能 够 表 


了 评议 的 学 者 影响 力 评价 方法 的 核心 


征 学 者 不 同 层面 影响 力 的 多 个 标签 得, 从 而 从 质量 层 
面 、 多 角度 探索 学 者 影响 力 。 由 于 文章 的 评价 方法 以 
F1000 为 基础 ,因此 ,有 必要 首先 对 Fl1000 的 开放 同行 
评议 情况 进行 详细 的 说 明 。 

3: 生 F1000 开放 同行 评议 情况 简介 

(三 F1000 ,全 称 Faculty of 1000 ” ,是 出 版 后 开放 同行 
评议 的 一 个 典型 代表 。F1000 对 自身 的 定义 是 为 生命 
各 刻 领 域 的 文章 提供 二 次 评估 的 数据 库 。F1000 的 开 
放 滔 议 以 3 种 形式 存在 ,分 别 为 打分 制 .文本 评议 和 标 
敌 通 议 ,参加 评议 的 成 员 为 美国 和 欧洲 等 国际 知名 机 
梅 隐 车 名 专家 ,他 们 根据 论文 对 当前 世界 生物 和 医学 
研 详 的 页 I 献 程 度 和 科学 价值 给 出 评价 。 打 分 制 是 指 评 
认 家 将 文章 按 Good 、 Very good 和 Exceptional 打分 ， 
人 鹿 代 表 一 星 、 一 星 .三 星 ,所 有 评议 专家 的 打分 综合 
来 就 得 到 了 文章 的 F1000 因子 。 并 根据 F000 因子 
将 最 近 一 个 月 内 的 极 少数 优秀 论文 推荐 给 读者 。 文 本 
评议 是 指 专家 以 文本 的 形式 写 出 对 文章 的 评价 意见 。 
而 尿 签 评议 是 指 专家 给 出 文章 评议 标签 ,这 里 的 标签 
不 凡 任 意 词语 都 可 以 ,F1000 提供 了 标签 库 十 ,如 表 1 


所 示 ， 评议 专家 需要 从 标签 库 中 选择 任意 一 个 或 多 个 
表 1 F1000 中 的 标签 及 其 释义 
标签 标签 释义 
Confirmation 证 实 之 前 公布 的 数据 或 假设 
Controversial 挑战 已 有 的 权威 
Interesting Hypothesis 提出 新 的 模型 
New Finding 新 发 现 , 提 供 新 的 数据 、 模 型 或 假设 
Technical Advance 介绍 一 种 新 的 实践 /理论 技术 ,或 现 
有 技术 的 新 应 用 
Good for Teaching 领域 的 重要 文章 或 模板 
Refutation 否定 之 前 公布 的 数据 或 假设 
Novel Drug Target 为 药物 发 现 新 靶 点 
Changes Clinical Practice 完整 的 临床 实践 
Systematie Review/ Meta-analysis 系统 回顾 ,蔡琳 分 析 
Review/ Commentary 综述 /评论 性 的 文章 


标签 来 表示 对 文章 的 评价 。 以 Genome -wide non -men- 
delian inheritance of extra -genomic information in Arabi- 
dopsis 一 文 ” 为 例 ,图 1 是 专家 本 Wal 对 该 文 的 评 
议 , 可 以 看 到 他 对 这 篇 文章 的 评价 很 高 ,给 出 了 三 星 的 
打分 ,标签 是 new finding ,同时 给 出 了 三 段 文 本 评议 。 
ER re 
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Dol: 10.3410f.1024824.292858 
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Very hatihe Arabidopsls organ fusion mutanthothes 
alele- pe eciiCDNAS equ esentin the genome of its parents but in previous 


The autho is phenomenon is not restricted to the HTH gene but exists in 
lsper ed utthe genome， 
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图 1 F1000 评议 示意 


在 本 文中 ,笔者 选用 1000 作为 开放 同行 评议 的 
代表 ,构建 基于 开放 同行 评议 的 学 者 影响 力 评价 方法 ， 
其 原因 如 下 : 

(1)F1000 不 以 期 刊 作为 文章 和 作者 评价 的 依据 ， 
既 关 注 人 们 普遍 认为 的 高 质量 期 刊 上 的 文章 ,也 关注 
普通 期 刊 上 的 文章 ,对 所 有 的 期 刊 一 视 同仁 。 到 目前 
为 止 ,F1000 已 经 推荐 了 3 500 多 种 期 刊 的 文章 。 相 较 
于 以 往 的 评价 方法 ,F1000 提供 了 一 种 更 公平 的 评价 
方法 ,而 不 是 只 关注 高 质量 期 刊 上 的 文章 或 作者 ,忽略 
那些 文章 质量 高 但 缺乏 知名 度 的 作者 。 

(2)F1000 中 评议 结果 的 专业 度 高 。F1000 汇集 
了 8 000 多 位 全 球 生 命 科 学 领域 最 顶尖 的 科学 家 , 既 
保证 了 开放 评议 的 广泛 性 ,也 保证 了 评议 同行 的 专业 
性 ,评议 结果 可 信赖 度 较 高 ,从 而 让 基于 这 一 平台 的 开 
放 同 行 评议 评价 方法 具有 较 多 可 利用 的 数据 。 

(3)F1000 中 的 开放 评议 数据 较为 规范 化 。F1000 
的 评议 结果 主要 以 评议 星 级 和 评议 内 容 两 种 方式 呈 
现 。 评 议 星 级 最 终 构 成 了 F1000 因子 ,F1000 因子 是 
文章 评价 最 直接 的 数据 依据 ,F1000 因子 越 高 ,表示 文 
章 受 专家 推荐 等 级 越 高 。 而 评议 内 容 主 要 以 文本 和 标 
签 两 种 形式 体现 ,二 者 是 相关 关系 ,标签 是 对 文本 评议 
内 容 的 结构 化 。 

(4)F1000 中 的 评议 内 容 较 丰 富 , 具 有 较 多 的 可 利 
用 内 容 。 虽 然 网 络 和 社交 媒体 正 处 于 飞速 发 展 的 时 
代 , 但 学 术 平台 的 开放 评议 还 处 于 初级 阶段 ,很 多 平台 
虽然 具有 开放 评议 的 功能 ,但 是 评议 数量 和 内 容 非常 
少 , 而 F1000 不 同 , 它 在 开放 的 同时 , 带 有 一 定 的 强制 
性 ,这 也 使 得 其 评议 数量 和 内 容 较 丰富 ,适合 做 基于 开 
放 评 议 数 据 的 学 术 评 价 。 


39 


图 二 情报 三 作 


第 62 卷 第 13 期 2018 年 7 月 


ChinaXiv 合 作 期 刊 


3.2 评价 思路 构建 
在 进行 学 者 评价 时 ,不 论 是 传统 的 评价 方法 ,还 是 
新 型 的 评价 方法 ,都 是 以 作者 的 研究 成 果 , 或 者 更 确切 
地 说 是 作者 论文 为 依据 展开 的 ,本 文 的 评价 方法 也 不 
例外 。 图 2 为 依据 上 述 核心 思想 ,以 F1000 及 其 学 者 
论文 为 依据 构建 的 基于 开放 同行 评议 的 学 者 影响 力 评 
价 思 路 。 具 体 而 言 ,主要 涉及 以 下 几 个 步 又 : 

(1) 信 息 抓 取 : 以 F1000 为 基础 , 抓 取 Fl1000 上 学 
术 论 文 的 作者 .题名 .标签 .F1000 因子 等 信息 。 

(2) 标 签 统计 :对 文章 的 标签 进行 统计 ,得 到 每 篇 
文章 拥有 的 每 个 标签 数量 。 

(3) 标 答 秘 划 归 : 由 于 F1000 上 的 标签 数量 较 多 ， 
为 了 更 方便 分 析 和 计算 ,也 更 准确 地 突出 作者 的 特征 ， 
参考 期 刊 文章 划分 ,将 标签 划 归 为 不 同类 能 ,表征 不 同 
的 乱 征 ,在 本 文中 称 为 标签 比 。 具 体 的 整 全 结果 见 表 2。 
(4) 标 签 迁 移 :分 离 出 每 篇 文章 的 第 一 作者 ,将 标 
绎 先 从 所 属 文章 迁移 到 对 应 的 学 者 上 ,形成 作者 的 标 
权 ,在 本 文中 称 为 Label Score, 从 而 表征 作者 不 同方 


Mm | | 
Python 抓 取 了 1000 因子 
获取 论文 F1000 标签 


作者 、 提 名 、 标 签 等 信息 
标签 敌 迁 移 
作者 标签 入 


2 
图 2 基于 开放 同行 评议 的 学 者 影响 力 评价 思 


(5) 实 证 研究 :以 F1000 为 基础 进行 实证 研究 ,并 
与 已 有 评价 方法 做 相关 性 分 析 和 比较 分 析 。 
表 2 标签 整合 结果 


标签 标签 秘 


New Finding New Finding 
Interesting Hypothesis 
Controversial Clinical Practice 
Confirmation 

Novel Drug Target 
Changes Clinical Practice 
Refutation 

Review/ Commentary Review 
Systematic Review/ Meta-analysis 


Technical Advance 


Good for Teaching 


4 ”实证 研究 


4.1 数据 采集 

本 次 实验 数据 来 源 于 F1000 和 WoS。 将 F1000 作 
为 开放 同行 评议 的 代表 ,选取 心血 管 学 科 , 使 用 Python 
爬虫 工具 得 到 该 学 科 4 079 篇 文章 的 作者 、 题 名 、 
F1000 因子 标签 等 信息 (数据 爬 取 时 间 :2017 年 12 月 
7 日 ) ,保存 为 . csv 文档 ,部 分 结果 见 图 3。WoS 作为 世 
界 权威 的 文献 索引 数据 库 ,收录 范围 广 ,能 够 直观 地 从 
引文 角度 评估 论文 的 学 术 价值 ,可 以 作为 现 有 主流 评 
价 方法 一 一 文献 计量 学 的 代表 。 


到 


- 


序号 title authors score time lable 


0 We must f:Ringach DLJent 
1 Transgenic Livet },Weissma 
2 Structural :Chung K,Wallac 
3 Mortality a Maitland KKkigu 
4 Crystal strL Rasmussen SG 
5 NIH peer rFang FC,Bowen 
6 The crystal Payandeh J,Sch 
7 K+ channe Choi M,Scholl L 
8 Rescuing \ Alberts B.Kirsch 
9 Circulating Zhang Q,Raoof 
10 Macrophat Machnik A,Neul 
11 Induction (Wu CYosef NT 
12 Statistical tGreenland S,Ser 
13 Beyond ba Weissgerber TL, 
14 Kindlin-3 kMoser MNiesw 
15 Gut flora n Wang Z.Klipfell 
16 Transyvascukumarp Wu H1 


4.2 数据 处 理 


首先 对 怜 取 的 数据 做 如 下 处 理 : 
(1) 利 用 Excel 和 Python 将 每 篇 文章 得 到 的 每 个 


标签 数量 进行 汇总 。 
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(2) 利 用 整合 过 的 标签 簇 ,对 每 篇 文章 的 标签 进 


48 2009 Confirmation,Controversial,General Interest,Confirmation,Controversial,General Interest,,Interesting Hypothesis,New Finding,Controversial,General Inte 
38 2007 New FndingTechnical Advance,Technical Advance,Technical Advance, Technical Advance, New Finding,Technical Advance,Technical Advance,New Find 
35 2013 Technical Advance,New Finding,Technical Advance,Technical Advance,Good for Teaching, Technical Advance, Technical Advance,New Finding,Technica 
26 2011 New Finding.Controversial,New Finding,Controversial,New Finding,New Finding, New Finding,Refutation,ControversialNew Finding,Controversial New 
26 2011 New Finding.Technical Advance New Finding,Technical Advance,New Finding,Technical Advance, New Finding,New Finding,Novel Drug TargetTechmi 
25 2016 Controversial,General Interest,,Good for Teaching.Controversial,General Interest,. Good for Teaching, Refutation,Controversial,General Interest.Controvg 
25 2011 New Finding.Technical Advance,New Finding, Technical Advance, New Finding ,New Finding,Novel Drug TargetTechnical Advance,New Finding,New Fi 
24 2011 New Finding,New Finding,New Fnding.Novel Drug TargetLNew Finding,Novel Drug Target, New Finding,New Finding, New Finding 


21 2014 Controversial,General Interest,,Good for Teaching,Interesting Hypothesis, Review / Commentary,General Interest, ,Interesting Hypothesis, Review / Com 
21 2010 Interesting Hypothesis,New Finding,Novel Drug Target,Interesting Hypothesis,New Finding,New Finding,Interesting Hypothesis,New Finding,New Find 
21 2009 Interesting Hypothesis, New Finding,New Finding, New Finding Novel Drug Target,Interesting Hypothesis, New Finding,New Finding,Novel Drug Target, 
20 2013 New Finding .Interesting Hypothesis,New Finding,Novel Drug Target.Interesting Hypothesis,New Finding,Good for Teaching,New FindingNovel Drug 
19 2016 Confirmation,General Interest,,Good for Teaching,Confirmation,Controversial,General Interest,. Good for Teaching,Controversial,General Interest,Good 
19 2015 General Interest,Good for Teaching, Systematic Review / Meta-analysis,General Interest,.Good for Teaching,Confirmation,General Interest,Good for Te 


图 3 慌 取 的 部 分 数据 示例 


行 二 次 求 和 汇总 ,得 到 每 篇 文章 的 标签 篮 ,部 分 数据 见 
4。 

(3) 采 用 作者 贡献 标准 分 配 法 ,即将 文章 的 所 有 
贡献 都 分 配给 第 一 作者 的 方法 进行 实验 。 在 上 一 步 的 
基础 上 将 文章 的 第 一 作者 提出 。 


RH 出 


以 F1000 为 例 [J]~ 


袁 国 华 ， 宠 晶 晶 ， 张 建 勇 ,等 . 基于 开放 同行 评议 的 学 者 影响 力 评价 研究 
(13 ) :37 -44. 


(4) 按 照 第 一 作者 姓名 进行 分 类 汇总 ,得 到 发 文 章 i 在 标签 篮 j 上 的 得 分 。 这 样 ,每 个 作者 就 可 以 得 到 


量 前 20 的 作者 。 4 个 表示 其 特征 的 Label Score。 
(5 ) 求 得 每 位 作者 的 特征 值 。 每 位 作者 在 每 个 标 下 Bi ay 
王 abel Score = 式 (1) 
答复 上 的 得 分 称 为 作者 特征 值 ,在 本 文中 用 Label 
Score 表示 。 特 征 值 的 计算 方法 可 以 用 公式 (1) 表 示 。 (6) 找 到 每 位 作者 对 应 的 文章 ,手动 在 WoS 中 检 


N 表示 作者 在 F1000 上 拥有 的 文章 数量 ,i 表示 文章 ,i ， 索 这 些 文章 ,并 记录 其 被 引 频 次 ,同时 计算 每 位 作者 的 
=1,2,…,N,j 表示 标签 秘 ,j = 1,2,3 ,ai 表示 作者 的 文 ”篇 均 被 引 频次 ,作为 文献 计量 方法 评价 的 依据 。 


ConfirmatControv'General InterestNew FintTechnical /Good 1RefutatioiNovel DrtReviewySystematic RevClinical TriNegative / Null Result 
5 16 17 
16 1 
12 2 


图 4 文章 及 标签 对 应 情况 


实证 结果 与 分 析 表示 Label Score 的 高 低 , 当 作者 在 某 一 标签 上 得 到 的 
表 3 为 使 用 本 文 提 出 的 评价 方法 对 发 文 量 居 前 20 ”LabelScore 较 高 时 ,对 应 的 颜色 条 长 度 就 会 较 长 ,相反 
位 的 作者 的 评价 结果 ,将 表 3 进行 可 视 化 ,结果 见 图 5。 ” 则 较 短 。 结 合 表 3 和 图 5 可 以 得 出 ,本 文 评价 方法 中 
中 模 坐 标 表示 Label Score, 纵 坐标 为 作者 姓名 ,图 ”每 位 学 者 不 再 得 到 单一 评价 得 分 ,而 是 以 多 个 得 分 反 
同 颜色 条 代表 不 同 的 Label Score ,颜色 条 的 长 短 。” 映 学 者 多 方面 的 特征 ,得 到 更 为 全 面 的 评价 结果 。 

表 3 作者 标签 禾 、 篇 均 F1000 因子 及 篇 均 被 引 频 次 


\ 得 分 Label Score 
篇 均 被 引 频 次 篇 均 F1000 因子 
伦 Clinical Practice New Finding Review 
J. Lin 0.33 0.67 0.33 36.67 $.33 
H. Zhang 0 0.67 0 24 1.50 
多 M. Amann 0 0.67 0 95 1.00 
J. Liu 0.20 0.67 0.20 12 4.33 
J. J. McMurray 0.33 0.67 0 1274.33 1.67 
S. P. Mortensen 0 1.00 0 57.33 1.67 
C. 0. Tan 0.33 1.00 人 533 22.67 1.67 
F. Liu 0 1.67 0 84 2.00 
G. Grassi 0 1.00 0 9.33 1.00 
L. Li 0.50 0:75 0 48.33 1.50 
B. Pitt 0.25 0.75 0 648.75 2.00 
Y. Lu 0.33 1.00 0.33 38.25 1.75 
Y. Liu 0.33 1:25 0 24 1.33 
X. Wang 0.17 1.50 0.17 45.75 1.00 
X. Zhang 0 0.80 0 174.8 2.17 
Z. Chen 0 1.00 0 15 1.50 
J. Li 0.25 1.00 0 47.75 1.33 
Y. Zhang 0 1.00 0 49.33 1.25 
D. Chen 0 1.00 0 26.67 1.33 
M. A. Laflamme 0.33 1.00 0.67 537 1.67 
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图 5 作者 在 不 同 标 签 徐 上 的 表现 (Label Score) 


(1) 横 向 方面 ,从 作者 在 不 同 标签 上 的 得 分 和 颜 
色 条 长 度 ,可 以 对 作者 的 特征 进行 大 致 的 判定 。 为 能 
更 加 直观 地 说 明 情 况 ,在 图 6 中 ,给 出 了 本 本 MeMur- 
ray\J. Liu、M. Amann 3 位 作者 的 标签 驴 得 分 雷达 图 ， 
J 中 每 条 线 的 分 布 情况 可 以 更 清晰 地 观测 到 3 
全 作者 在 不 同 标签 徐 上 的 表现 情况 。J J MeMurray 
是 - finding” 表 现 突出 ,J.，Liu 在 “Clinical Practice” 


和 EReview”" 上 的 表现 相对 高 ,而 M，Amann 的 特征 则 

书 加 体现 在 “Review” 上 。 

号 C) 詹 向 方面 ,可 以 得 知 在 同一 标签 上 哪些 作者 

的 潮 现 比较 突出 ,如 在 实践 方面 X，Wang 相对 其 他 作 
突出 一 些 , 在 创新 方面 了 Liu 要 突出 一 些 ,J. Liu 

存 茬 的 争议 性 更 大 一 些 ,而 本 Liu .M，A，Laflamm 和 

MAmann 在 论述 方面 比较 突出 ,对 应 的 颜色 条 要 长 一 

些 gG 这 种 纵向 的 对 比 有 助 于 快速 地 获得 某 一 特征 上 表 

现 突出 的 作者 和 对 应 的 杰出 文章 。 

4: 纪 对 比分 析 

加 为 了 更 好 地 验证 本 文 评价 方法 的 有 效 性 和 必要 性 ， 


I 
Lg 
， 
下 
2 
1 
0 
A od go 有 db ON a 
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7 各 标签 篇 均 F1000 
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YY 了 < 全 
> 全 父 YS 
SA 


Clinical Practice 


New Finding Review 


M.Amann 

Clinical Practice : 0.33 
New Finding : 0.67 
Review :1 


LE J.J.McMurray MAmnm ED 丁 Lin 
图 6 部 分 作者 标签 簇 得 分 雷达 图 


在 现 有 基础 上 将 开放 同行 评议 的 结果 与 篇 均 被 引 频 
次 代表 的 文献 计量 评价 方法 做 相关 性 比较 分 析 。 首 
先 利用 Excel 得 到 表 3 中 数据 的 趋势 图 ( 见 图 7) ,之 
后 采用 SPSS 软件 对 开放 同行 评议 的 标签 簇 、 篇 均 
F1000 因子 和 篇 均 被 引 频 次 做 皮尔 逊 双 侧 相 关 性 检 
验 , 结 果 见 表 4: 


1400 

1200 

1000--- 一 Clinical Practice 
800 一 New Finding 


Review 


600 
一 一 篇 均 F1000 


因 


一 一 篇 均 被 引 频次 
200 


A 全 
FY o 殉 


因子 及 被 引 频 次 趋势 


Cip 王 司 作弄 
袁 国 华 ， 冠 晶 晶 ， 张 建 勇 ， 基于 开放 同行 评议 的 学 者 影响 力 评价 研究 以 F1000 为 例 []] 图 Wy pi 
(13) :37 -44. 
表 4 各 标签 禾 、F1000 因子 及 篇 均 被 引 频 次 相关 性 检验 
Clinical Practice New Finding Review 篇 均 被 引 频 次 篇 均 F1000 因子 
Clinical Practice Pearson 相关 性 —.301 :023 —.135 ‘3 
显著 性 ( 双 侧 ) .197 .923 .569 .520 
20 20 20 20 20 
New Finding Pearson 相关 性 一 .301 1 一 .47S* 一 .275 一 .209 
显著 性 ( 双 侧 ) .197 .034 .241 .376 
20 20 20 20 20 
Review Pearson 相关 性 “3 —.4715* 1 .178 一 .005 
显著 性 ( 双 侧 ) .923 .034 .452 .982 
20 20 20 20 20 
篇 均 被 引 频 次 Pearson 相关 性 一 .135 —.275 i 1 :2 
显著 性 ( 双 侧 ) .569 .241 .452 .003 
20 20 20 20 20 
篇 均 F1000 因子 Pearson 相关 性 2 一 .209 005 a 1 
显著 性 ( 双 侧 ) .520 .376 .982 .003 
20 20 20 20 20 
注 :“ 表示 在 0.05 水 平 ( 双 侧 ) 上 显著 相关 ; “表示 在 .01 水 平 ( 双 侧 ) 上 显著 相关 


一 结合 图 7 和 表 4 可 以 看 出 : 

二 (1) 篇 均 F1000 因子 与 篇 均 被 引 频次 之 间 的 相关 
为 0.625 ,在 0.01 水 平 ( 双 侧 ) 上 显著 相关 ,图 7 
者 的 基本 趋势 也 类 似 , 表 明 开 放 同 行 评议 的 定量 

指标 了 上 了 1000 与 文献 计量 的 评价 指标 篇 均 被 引 频 次 

较 高 的 一 致 性 ,这 为 验证 开放 同行 评议 在 学 术 评 
有 的 有 效 性 提供 了 依据 。 

E (2) Clinical Practice New Finding 和 Review 3 种 标 
全 讽 与 简 均 被 引 频次 的 相关 系数 分 别 为 - 0. 135、 

.6275 .0.178 ,同时 结合 对 应 的 Sig 值 以 及 各 标签 能 与 
篇 鸥 被 引 频次 趋势 折线 图 ( 见 图 7) ,可 以 看 出 这 3 种 标 
签 艇 与 篇 均 被 引 频 次 的 相关 关系 非常 弱 , 其 至 不 存在 相 
关 座 系 。 这 在 一 定 程度 上 可 以 说 明 , 基 于 开放 同行 评议 
的 纤 性 评价 涉及 了 传统 评价 方法 尚未 涉及 的 层面 面 ,重点 
尖 王 的 作者 也 与 传统 评价 方法 下 的 知名 作者 有 所 不 同 。 

刁 (3 )3 种 标签 簇 与 F1000 因子 的 相关 系数 分 别 为 
0.153、- 0. 209 .和 0. 005 ,同时 结合 对 应 的 Sig 值 看 
出 ,3 种 标签 簇 与 F1000 因子 的 相关 性 也 不 显著 ,这 表 
明 我 们 在 关注 各 开放 同行 评议 平台 、 各 社交 媒体 的 定 
量 指标 的 同时 ,也 应 考虑 其 定性 的 评价 内 容 。 

综 上 ,本 文 认为 ,基于 开放 同行 评议 的 学 者 评价 方 
法 是 一 种 新 的 评价 角度 ,可 以 作为 对 传统 评价 方法 的 
一 种 补充 。 


5 结语 


本 文 调研 了 国内 外 现 有 学 者 影响 力 评 价 方法 ,并 
进行 了 系统 分 类 ,之 后 在 此 基础 上 ,提出 一 种 基于 开放 
同行 评议 的 学 者 影响 力 评价 方法 ,并 以 开放 同行 评议 
平台 F1000 为 例 ,进行 了 实证 研究 和 对 比分 析 。 在 实 
证 研究 过 程 中 ,从 对 样本 的 观察 可 以 看 出 ,一些 被 引 频 
次 高 的 作者 在 开放 同行 评议 角度 下 表现 并 不 突出 ,而 


一 些 被 引 频 次 并 不 高 的 作者 ,反而 在 开放 同行 评议 角 
度 下 表现 突出 ,这 在 一 定 程度 上 说 明了 二 者 之 间 的 互 
人 而 通过 进一步 的 实验 分 析 和 相关 分 析 , 本 文 
得 出 如 下 结论 : 

(1) 本 文 提出 的 基于 开放 同行 评议 学 者 影响 力 评 
价 方法 可 以 为 学 者 赋予 多 重 特 征 , 打 破 了 学 者 影响 力 
评价 角度 单一 的 困境 ,实现 了 多 角度 的 学 者 影响 力 评 
价 , 让 学 者 的 个 人 形象 更 具 辨 识 度 和 饱满 度 ,学 者 影响 
力也 更 加 全 面 、 生 动 。 

(2) 从 统计 学 角度 来 看 ,基于 F1000 的 开放 同行 评 
议 方法 与 引文 分 析 为 代表 的 文献 计量 学 评价 方法 不 具 
有 显著 相关 性 。 某 种 程度 上 表明 ,基于 开放 同行 评议 
内 容 的 定性 评价 涉及 到 了 传统 评价 方法 尚未 涉及 的 层 
面 ,重点 关注 的 作者 也 与 传统 的 评价 方法 下 的 知名 作 
者 有 所 不 同 , 本 文 研 究 结果 为 使 用 开放 同行 评议 进行 
学 者 影响 力 评 价 提 供 了 一 定 的 参考 依据 。 

(3) 基 于 开放 同行 评议 的 学 者 评价 方法 是 一 种 新 
的 评价 角度 ,可 以 作为 对 传统 评价 方法 的 一 种 补充 。 
学 者 评价 方法 并 非 非 此 即 彼 ,需要 进行 多 元 的 结合 
能 更 全 面 地 评价 学 者 。 传 统 的 评价 方法 与 开放 同行 评 
议 评价 方法 是 相辅相成 的 ,并 非 是 要 用 开放 同行 评议 
的 方法 取代 传统 评价 方法 。 无 论 是 开放 同行 评议 还 是 
文献 计量 ,单独 作为 学 者 评价 标准 都 有 失 偏 颇 ,传统 的 
定量 分 析 与 开放 同行 评议 方法 的 结合 将 是 未 来 学 术 评 
价 的 发 展 趋势 。 

本 文 的 研究 也 存在 不 足 之 处 ,研究 中 并 未 全 面 考 
虑 关于 作者 署名 与 贡献 度 归 属 的 问题 ,只 对 第 一 作者 
的 开放 同行 评议 情况 进行 了 研究 ,这 在 一 定 程 度 上 会 
影响 实验 结果 。 要 真正 做 好 基于 开放 同行 评议 的 学 者 
影响 力 评 价 , 将 来 还 需 深 入 研究 署名 顺序 和 贡献 度 因 
素 对 学 者 影响 力 的 影响 。 
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The Research of Scholar Influence Evaluation Based on 
Open Peer Review: Take the F1000 as an Example 
Yuan Guohua” Kou Jingjing” Zhang Jianyong Han Zhengqi'” 
!' National Science Library, Chinese Academy of Sciences ,Beijing 100190 
? University of Chinese Academy of Sciences ,Beijing 100049 
Abstract. [Purpose/significance | This paper designed and built an evaluation method of scholar influence based 
on open peer review. [Method/process | First the paper investigated the evaluation methods of scholar influence home 
and abroad. Then an evaluation method of scholar influence based on open peer review was designed and built. And Em- 
pirical research and comparative analysis were conducted. [ Result/conclusion | The method of scholar evaluation based 
on open peer review is a new angle of evaluation, which achieves a multi-angle evaluation of scholars and increases the 
fullness and discernment of scholar influence. The analysis shows that there is no significant correlation between this meth- 
od and the literature evaluation method, which can be used as a supplement to traditional evaluation methods. The combi- 
nation of traditional quantitative analysis methods and open peer review methods will be the development trend of future ac- 
ademic evaluation. 
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